package com.apex.spark.transform;

import com.apex.spark.SparkBaseTransform;
import com.apex.spark.SparkEnvironment;
import com.typesafe.config.Config;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;

/**
 * 数据处理入口
 */
public interface SparkTransform extends com.apex.spark.SparkBaseTransform {
    /**
     * 处理从源端发来的数据并返回结果给sink端使用,执行SQL逻辑时,通过spark.sql
     * @param env 上下文件执行环境
     * @param data 源端数据
     * @return
     */
    Dataset<Row> process(SparkEnvironment env, Dataset<Row> data);
}
